Leopold Joseph Charles Dominique Agapet Hyacinthe là con trai của Charles V, Công tước xứ Lorraine, và vợ ông là Eleonora Maria Josefa của Áo, em gái cùng cha khác mẹ với Leopold I của Thánh chế La Mã.

Vào thời điểm Leopold được sinh ra, Lorraine và Bar đã bị Louis XIV của Pháp chiếm đóng, buộc cha mẹ ông phải chuyển đến sống lưu vong ở Đại công quốc Áo, dưới sự bảo vệ của Hoàng đế La Mã Thần thánh. Vì vậy, Leopold được sinh ra trong cung điện Innsbruck và được đặt theo tên của cậu mình là Hoàng đế Leopold I. Leopold lớn lên ở Innsbruck, trong khi cha ông tham gia bảo vệ Vienna chống lại những cuộc xâm lược của Đế quốc Ottoman.

Năm 1690, cha của Leopold qua đời khi ông mới 11 tuổi, và ông được thừa kế Công quốc Lorraine, lúc đó vẫn đang bị chiếm đóng bởi Vương quốc Pháp. Mẹ ông, cố gắng hoàn thành tâm nguyện cuối cùng của chồng là đưa các con trở về với quyền lực của Gia tộc Lorraine, bà đã kêu gọi Đại hội đế chế ở Regensburg khôi phục quyền Công tước Lorraine cho con trai của bà. Leopold được gửi đến Vienna để nhận một khóa học quân sự dưới sự giám sát của Hoàng đế. Tại Vienna, ông lớn lên cùng với những người anh em họ của mình, Đại công tước Joseph và Charles, cả hai sau này đều là Hoàng đế của Thánh chế La Mã. [3]

Giống như cha mình trước đó, ông gia nhập Quân đội Hoàng gia vào năm 18 tuổi, ông tham gia Cuộc vây hãm Timișoara năm 1694. Ba năm sau, ông nhận quyền chỉ huy Quân đội sông Rhine.